视觉世界中新对象的不断出现对现实世界部署中当前的深度学习方法构成了巨大的挑战。由于稀有性或成本,新任务学习的挑战通常会加剧新类别的数据。在这里,我们探讨了几乎没有类别学习的重要任务(FSCIL)及其极端数据稀缺条件。理想的FSCIL模型都需要在所有类别上表现良好,无论其显示顺序或数据的匮乏。开放式现实世界条件也需要健壮,并可以轻松地适应始终在现场出现的新任务。在本文中,我们首先重新评估当前的任务设置,并为FSCIL任务提出更全面和实用的设置。然后,受到FSCIL和现代面部识别系统目标的相似性的启发,我们提出了我们的方法 - 增强角损失渐进分类或爱丽丝。在爱丽丝(Alice)中,我们建议使用角度损失损失来获得良好的特征。由于所获得的功能不仅需要紧凑,而且还需要足够多样化以维持未来的增量类别的概括,我们进一步讨论了类增强,数据增强和数据平衡如何影响分类性能。在包括CIFAR100,Miniimagenet和Cub200在内的基准数据集上的实验证明了爱丽丝在最新的FSCIL方法上的性能提高。
translated by 谷歌翻译
Current medical image synthetic augmentation techniques rely on intensive use of generative adversarial networks (GANs). However, the nature of GAN architecture leads to heavy computational resources to produce synthetic images and the augmentation process requires multiple stages to complete. To address these challenges, we introduce a novel generative meta curriculum learning method that trains the task-specific model (student) end-to-end with only one additional teacher model. The teacher learns to generate curriculum to feed into the student model for data augmentation and guides the student to improve performance in a meta-learning style. In contrast to the generator and discriminator in GAN, which compete with each other, the teacher and student collaborate to improve the student's performance on the target tasks. Extensive experiments on the histopathology datasets show that leveraging our framework results in significant and consistent improvements in classification performance.
translated by 谷歌翻译
Deep learning networks have demonstrated state-of-the-art performance on medical image analysis tasks. However, the majority of the works rely heavily on abundantly labeled data, which necessitates extensive involvement of domain experts. Vision transformer (ViT) based generative adversarial networks (GANs) recently demonstrated superior potential in general image synthesis, yet are less explored for histopathology images. In this paper, we address these challenges by proposing a pure ViT-based conditional GAN model for histopathology image synthetic augmentation. To alleviate training instability and improve generation robustness, we first introduce a conditioned class projection method to facilitate class separation. We then implement a multi-loss weighing function to dynamically balance the losses between classification tasks. We further propose a selective augmentation mechanism to actively choose the appropriate generated images and bring additional performance improvements. Extensive experiments on the histopathology datasets show that leveraging our synthetic augmentation framework results in significant and consistent improvements in classification performance.
translated by 谷歌翻译
Supervised machine learning-based medical image computing applications necessitate expert label curation, while unlabelled image data might be relatively abundant. Active learning methods aim to prioritise a subset of available image data for expert annotation, for label-efficient model training. We develop a controller neural network that measures priority of images in a sequence of batches, as in batch-mode active learning, for multi-class segmentation tasks. The controller is optimised by rewarding positive task-specific performance gain, within a Markov decision process (MDP) environment that also optimises the task predictor. In this work, the task predictor is a segmentation network. A meta-reinforcement learning algorithm is proposed with multiple MDPs, such that the pre-trained controller can be adapted to a new MDP that contains data from different institutes and/or requires segmentation of different organs or structures within the abdomen. We present experimental results using multiple CT datasets from more than one thousand patients, with segmentation tasks of nine different abdominal organs, to demonstrate the efficacy of the learnt prioritisation controller function and its cross-institute and cross-organ adaptability. We show that the proposed adaptable prioritisation metric yields converging segmentation accuracy for the novel class of kidney, unseen in training, using between approximately 40\% to 60\% of labels otherwise required with other heuristic or random prioritisation metrics. For clinical datasets of limited size, the proposed adaptable prioritisation offers a performance improvement of 22.6\% and 10.2\% in Dice score, for tasks of kidney and liver vessel segmentation, respectively, compared to random prioritisation and alternative active sampling strategies.
translated by 谷歌翻译
在不失去先前学习的情况下学习新任务和技能(即灾难性遗忘)是人为和生物神经网络的计算挑战,但是人工系统努力与其生物学类似物达成平等。哺乳动物的大脑采用众多神经手术来支持睡眠期间的持续学习。这些是人工适应的成熟。在这里,我们研究了建模哺乳动物睡眠的三个不同组成部分如何影响人工神经网络中的持续学习:(1)在非比型眼运动(NREM)睡眠期间观察到的垂直记忆重播过程; (2)链接到REM睡眠的生成记忆重播过程; (3)已提出的突触降压过程,以调整信噪比和支持神经保养。在评估持续学习CIFAR-100图像分类基准上的性能时,我们发现将所有三个睡眠组件的包含在内。在以后的任务期间,训练和灾难性遗忘在训练过程中提高了最高准确性。尽管某些灾难性遗忘在网络培训过程中持续存在,但更高水平的突触缩减水平会导致更好地保留早期任务,并进一步促进随后培训期间早期任务准确性的恢复。一个关键的要点是,在考虑使用突触缩小范围的水平时,手头有一个权衡 - 更具侵略性的缩减更好地保护早期任务,但较少的缩减可以增强学习新任务的能力。中级水平可以在训练过程中与最高的总体精度达到平衡。总体而言,我们的结果都提供了有关如何适应睡眠组件以增强人工连续学习系统的洞察力,并突出了未来神经科学睡眠研究的领域,以进一步进一步进行此类系统。
translated by 谷歌翻译
大气效应(例如湍流和背景热噪声)抑制了在开关键控自由空间光学通信中使用的相干光的传播。在这里,我们介绍并实验验证了卷积神经网络,以降低后处理中自由空间光学通信的位错误率,而自由空间光学通信的位比基于高级光学器件的现有解决方案明显简单,更便宜。我们的方法由两个神经网络组成,这是第一个确定在热噪声和湍流中存在相干位序列以及第二个解调相干位序列的存在。通过生成连贯的光线,将它们与热灯结合在一起,并通过湍流的水箱将其结合起来,通过生成开关的键入键流,可以通过实验获得我们网络的所有数据,从而获得了模拟的湍流,并将其传递给了最终的光线。高度准确性。我们的卷积神经网络提高了与阈值分类方案相比的检测准确性,并具有与当前解调和误差校正方案集成的能力。
translated by 谷歌翻译
这项工作开发了基于神经网络的预处理,以加速晶格量子场理论中的Wilson-DIRAC正常方程。该方法是针对临界点附近的两种晶格Schwinger模型实现的。在该系统中,发现神经网络预处理可以加速与未经本科系统的溶液或基于偶数或不完整的Cholesky分解的常规方法相比,偶联梯度求解器的收敛性,如降低的降低数量收敛所需的迭代和/或复杂操作。还表明,在具有较小晶格量的合奏上训练的预处理可用于为具有较大晶格量的合奏构建预处理,并且性能最小。这种体积转移技术摊销了训练成本,并为将这种预调节器扩展到具有较大晶格体积和四个维度的晶格场理论计算。
translated by 谷歌翻译
目的:目的是将先前验证的深度学习算法应用于新的甲状腺结节超声图像数据集,并将其性能与放射科医生进行比较。方法:先前的研究提出了一种能够检测甲状腺结节,然后使用两个超声图像进行恶性分类的算法。从1278个结节训练了多任务深度卷积神经网络,最初用99个单独的结节进行了测试。结果与放射科医生相当。与培训案例相比,使用来自不同制造商和产品类型的超声计算机成像的378个结节进一步测试了该算法。要求四名经验丰富的放射科医生评估结节,以与深度学习进行比较。结果:用参数,二维估计计算了深度学习算法和四个放射科医生的曲线(AUC)面积。对于深度学习算法,AUC为0.70(95%CI:0.64-0.75)。放射科医生的AUC为0.66(95%CI:0.61-0.71),0.67(95%CI:0.62-0.73),0.68(95%CI:0.63-0.73)和0.66(95%CI:95%CI:0.61-0.71)。结论:在新的测试数据集中,深度学习算法与所有四个放射科医生都达到了类似的性能。
translated by 谷歌翻译
可解释的人工智能(XAI)方法缺乏地面真理。代替方法,方法开发人员依靠公理来确定其解释行为的理想特性。对于需要解释性的机器学习的高利益使用,因此依靠公理作为实现或使用不足是不足以实现理想的。结果,对验证XAI方法的性能进行了积极的研究。在依赖XAI的域中,对验证的需求特别放大。一项消融研究,经常用于评估其效用并在某种程度上评估其效用的程序。通过在重要性等级顺序上扰动输入变量,目标是评估模型性能的敏感性。扰动重要变量应与模型能力度量的降低相关,而不是扰动不太重要的特征。尽管意图很明确,但实际实施细节尚未针对表格数据进行严格研究。使用五个数据集,三种XAI方法,四个基线和三个扰动,我们的目的是表明1)不同的扰动和添加简单的护栏如何有助于避免可能有缺陷的结论,2)分类变量的处理是如何在两个帖子中都重要的考虑因素。 - HOC解释性和消融研究,以及3)如何识别XAI方法的有用基准,以及用于消融研究的可行扰动。
translated by 谷歌翻译
超声诊断甲状腺结节的机器学习(ML)是一个活跃的研究领域。但是,ML工具需要大型,标签良好的数据集,其策划是耗时的和劳动密集型的。我们研究的目的是开发和测试一种基于学习的工具,以促进和自动化甲状腺结节的数据注释过程;我们命名了我们的工具Multistep自动数据标记过程(MADLAP)。 Madlap旨在获取多个输入,包括病理学报告,超声图像和放射学报告。使用多个阶梯模块,包括基于规则的自然语言处理,基于深度学习的成像分割和光学特征识别,MADLAP自动识别了特定甲状腺结节的图像,并正确分配了病理标签。该模型是使用我们卫生系统中的378名患者组成的训练组开发的,并在另一组93例患者中进行了测试。两组的地面真相是由经验丰富的放射科医生选择的。使用测试集测量的性能指标,包括产量(模型产生的标记图像数量)和精度(正确的百分比)。 Madlap的产量为63%,精度为83%。随着输入数据穿过每个模块的移动,产量逐渐增加,同时精确度达到了峰值。错误分析表明,来自某些检查地点的输入的精度(40%)低于其他站点(90%,100%)。 Madlap成功地创建了甲状腺结节标记的超声图像的策划数据集。虽然准确,但在试图自动从异质来源标记放射学图像时,Madlap的相对次优率暴露了一些挑战。图像策划和注释的复杂任务可以自动化,从而使较大的数据集丰富用于机器学习开发。
translated by 谷歌翻译